Neural Architecture Search (NAS) is an automatic technique that can search for well-performed architectures for a specific task. Although NAS surpasses human-designed architecture in many fields, the high computational cost of architecture evaluation it requires hinders its development. A feasible solution is to directly evaluate some metrics in the initial stage of the architecture without any training. NAS without training (WOT) score is such a metric, which estimates the final trained accuracy of the architecture through the ability to distinguish different inputs in the activation layer. However, WOT score is not an atomic metric, meaning that it does not represent a fundamental indicator of the architecture. The contributions of this paper are in three folds. First, we decouple WOT into two atomic metrics which represent the distinguishing ability of the network and the number of activation units, and explore better combination rules named (Distinguishing Activation Score) DAS. We prove the correctness of decoupling theoretically and confirmed the effectiveness of the rules experimentally. Second, in order to improve the prediction accuracy of DAS to meet practical search requirements, we propose a fast training strategy. When DAS is used in combination with the fast training strategy, it yields more improvements. Third, we propose a dataset called Darts-training-bench (DTB), which fills the gap that no training states of architecture in existing datasets. Our proposed method has 1.04$\times$ - 1.56$\times$ improvements on NAS-Bench-101, Network Design Spaces, and the proposed DTB.

This paper proposes a deep recurrent Rotation Averaging Graph Optimizer (RAGO) for Multiple Rotation Averaging (MRA). Conventional optimization-based methods usually fail to produce accurate results due to corrupted and noisy relative measurements. Recent learning-based approaches regard MRA as a regression problem, while these methods are sensitive to initialization due to the gauge freedom problem. To handle these problems, we propose a learnable iterative graph optimizer minimizing a gauge-invariant cost function with an edge rectification strategy to mitigate the effect of inaccurate measurements. Our graph optimizer iteratively refines the global camera rotations by minimizing each node's single rotation objective function. Besides, our approach iteratively rectifies relative rotations to make them more consistent with the current camera orientations and observed relative rotations. Furthermore, we employ a gated recurrent unit to improve the result by tracing the temporal information of the cost graph. Our framework is a real-time learning-to-optimize rotation averaging graph optimizer with a tiny size deployed for real-world applications. RAGO outperforms previous traditional and deep methods on real-world and synthetic datasets. The code is available at https://github.com/sfu-gruvi-3dv/RAGO

Homography estimation is erroneous in the case of large-baseline due to the low image overlay and limited receptive field. To address it, we propose a progressive estimation strategy by converting large-baseline homography into multiple intermediate ones, cumulatively multiplying these intermediate items can reconstruct the initial homography. Meanwhile, a semi-supervised homography identity loss, which consists of two components: a supervised objective and an unsupervised objective, is introduced. The first supervised loss is acting to optimize intermediate homographies, while the second unsupervised one helps to estimate a large-baseline homography without photometric losses. To validate our method, we propose a large-scale dataset that covers regular and challenging scenes. Experiments show that our method achieves state-of-the-art performance in large-baseline scenes while keeping competitive performance in small-baseline scenes. Code and dataset are available at https://github.com/megvii-research/LBHomo.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

基于深度学习的单图像超分辨率（SISR）方法引起了人们的关注，并在现代高级GPU上取得了巨大的成功。但是，大多数最先进的方法都需要大量参数，记忆和计算资源，这些参数通常会显示在当前移动设备CPU/NPU上时显示出较低的推理时间。在本文中，我们提出了一个简单的普通卷积网络，该网络具有快速最近的卷积模块（NCNET），该模块对NPU友好，可以实时执行可靠的超级分辨率。提出的最近的卷积具有与最近的UP采样相同的性能，但更快，更适合Android NNAPI。我们的模型可以很容易地在具有8位量化的移动设备上部署，并且与所有主要的移动AI加速器完全兼容。此外，我们对移动设备上的不同张量操作进行了全面的实验，以说明网络体系结构的效率。我们的NCNET在DIV2K 3X数据集上进行了训练和验证，并且与其他有效的SR方法的比较表明，NCNET可以实现高保真SR结果，同时使用更少的推理时间。我们的代码和预估计的模型可在\ url {https://github.com/algolzw/ncnet}上公开获得。

视频突出显示检测是一个至关重要但充满挑战的问题，旨在识别未修剪视频中有趣的时刻。该任务的关键在于有效的视频表示形式共同追求两个目标，即\ textit {i.e。}，跨模式表示学习和精细元素特征歧视。在本文中，这两个挑战不仅通过丰富表示建模的模式内部和跨模式关系来应对，而且还以歧视性的方式塑造了这些特征。我们提出的方法主要利用模式内编码和交叉模式共发生编码来完全表示建模。具体而言，编码的模式内模式可以增强模态特征，并通过音频和视觉信号中的模式关系学习来抑制无关的模态。同时，跨模式的共同发生编码着重于同时模式间关系，并选择性地捕获了多模式之间的有效信息。从本地上下文中抽象的全局信息进一步增强了多模式表示。此外，我们使用硬对对比度学习（HPCL）方案扩大了特征嵌入的判别能力。进一步采用了硬对采样策略来开采硬样品，以改善HPCL中的特征歧视。与其他最新方法相比，在两个基准上进行的广泛实验证明了我们提出的方法的有效性和优势。

已经发现，旨在在未修剪视频的开始和终点范围内发现的时间动作实例的时间动作提案生成可以在很大程度上受益于适当的时间和语义上下文的剥削。最新的努力致力于通过自我发项模块来考虑基于时间的环境和基于相似性的语义上下文。但是，他们仍然遭受混乱的背景信息和有限的上下文特征学习的困扰。在本文中，我们提出了一个基于金字塔区域的新型插槽注意（PRSLOT）模块来解决这些问题。我们的PRSLOT模块不使用相似性计算，而是直接以编码器方式来学习本地关系，并基于注意力输入功能（称为\ textit {slot}}的注意力输入功能，生成了局部区域的表示。具体而言，在输入段级级别上，PRSLOT模块将目标段作为\ textIt {query}，其周围区域为\ textit {key}，然后通过聚集每个\ textit {query-key}插槽来生成插槽表示。具有平行金字塔策略的本地摘要上下文。基于PRSLOT模块，我们提出了一种基于金字塔区域的新型插槽注意网络，称为PRSA-NET，以学习具有丰富的时间和语义上下文的统一视觉表示，以获得更好的建议生成。广泛的实验是在两个广泛采用的Thumos14和ActivityNet-1.3基准上进行的。我们的PRSA-NET优于其他最先进的方法。特别是，我们将AR@100从以前的最佳50.67％提高到56.12％，以生成提案，并在0.5 TIOU下将地图从51.9 \％\％提高到58.7 \％\％\％\％\％，以在Thumos14上进行动作检测。 \ textit {代码可在} \ url {https://github.com/handhand123/prsa-net}中获得

在本文中，我们提出了D2C-SR，这是一个新颖的框架，用于实现现实世界图像超级分辨率的任务。作为一个不适的问题，超分辨率相关任务的关键挑战是给定的低分辨率输入可能会有多个预测。大多数基于经典的深度学习方法都忽略了基本事实，缺乏对基础高频分布的明确建模，从而导致结果模糊。最近，一些基于GAN或学习的超分辨率空间的方法可以生成模拟纹理，但不能保证具有低定量性能的纹理的准确性。重新思考这两者，我们以离散形式了解了基本高频细节的分布，并提出了两阶段的管道：分歧阶段到收敛阶段。在发散阶段，我们提出了一个基于树的结构深网作为差异骨干。提出了发散损失，以鼓励基于树的网络产生的结果，以分解可能的高频表示，这是我们对基本高频分布进行离散建模的方式。在收敛阶段，我们分配空间权重以融合这些不同的预测，以获得更准确的细节，以获取最终输出。我们的方法为推理提供了方便的端到端方式。我们对几个现实世界基准进行评估，包括具有X8缩放系数的新提出的D2CrealSR数据集。我们的实验表明，D2C-SR针对最先进的方法实现了更好的准确性和视觉改进，参数编号明显较少，并且我们的D2C结构也可以作为广义结构应用于其他一些方法以获得改进。我们的代码和数据集可在https://github.com/megvii-research/d2c-sr上找到

本文提出了一种有效融合多暴露输入并使用未配对数据集生成高质量的高动态范围（HDR）图像的方法。基于深度学习的HDR图像生成方法在很大程度上依赖于配对的数据集。地面真相图像在生成合理的HDR图像中起着领导作用。没有地面真理的数据集很难应用于训练深层神经网络。最近，在没有配对示例的情况下，生成对抗网络（GAN）证明了它们将图像从源域X转换为目标域y的潜力。在本文中，我们提出了一个基于GAN的网络，用于解决此类问题，同时产生愉快的HDR结果，名为Uphdr-Gan。提出的方法放松了配对数据集的约束，并了解了从LDR域到HDR域的映射。尽管丢失了这些对数据，但UPHDR-GAN可以借助修改后的GAN丢失，改进的歧视器网络和有用的初始化阶段正确处理由移动对象或未对准引起的幽灵伪像。所提出的方法保留了重要区域的细节并提高了总图像感知质量。与代表性方法的定性和定量比较证明了拟议的UPHDR-GAN的优越性。

本文提出了一种基于生成的对抗网络（GAN）的解决方案，用于求解拼图游戏。问题假定图像被分成相等的方块，并要求根据碎片提供的信息恢复图像。传统的拼图拼写求解器通常根据拼写的边界确定关系，这忽略了重要的语义信息。在本文中，我们提出了一种基于GaN的辅助学习方法，用于用未配对的图像求解拼图拼图的GaN的辅助学习方法（没有初始图像的先验知识）。我们设计了一个多任务管道，包括（1）分类分支来对拼图排列，并且（2）GaN分支以正确的顺序恢复图像的图像。分类分支由根据洗片件产生的伪标签约束。 GaN分支专注于图像语义信息，其中发电机产生自然图像以欺骗鉴别器，而判别器区分给定图像是否属于合成或真实目标域。这两个分支通过流动的扭曲模块连接，该模块应用于扭曲特征以根据分类结果校正订单。所提出的方法可以通过同时利用语义信息和边界信息来更有效地解决拼图难题。针对几个代表性拼图求解器的定性和定量比较证明了我们方法的优越性。